#off-policy RL - AI Papers Daily

Score Centering Stabilizes Off-policy Reinforcement Learning

分数中心化稳定离线策略强化学习

🧭 LLM 强化学习训练稳定性校正

Together AI

提出加性 score centering 校正项，抵消训练与推理引擎间的漂移，稳定 LLM 的 RL 训练

📌 工作参考价值（4 点）

在 RL 微调推荐/对话策略时，若部署推理引擎与训练引擎存在量化、KV cache 压缩或异步参数不一致，可在计算优势或回报时减去漂移项（如训练与推理引擎在同样本上的平均输出差异），低成本稳定训练，避免策略崩溃。
Score centering 是加性修正，可与 importance sampling 等乘法修正叠加；在离线策略数据来自旧策略或不同推理引擎时，组合使用可能比单用 IS 更稳健，尤其 mismatch 严重时。
对于生成式推荐（用 LLM 直接生成 item ID/文案），RL 训练中 reward 常由规则或模型给出，容易受采样分布偏移影响；考虑在 reward 或 advantage 上做 centering 来抵消环境漂移，可提升训练稳定性。
工程上：漂移估计可通过在固定验证集上比较训练和推理引擎的 logprob/奖励差异得到，开销很小；可作为 RL 训练 pipeline 的常规监控与校正组件。

Training | 2026-09-17 | cs.LG | score 7/10

重新思考LLM强化学习中的散度正则化

🧭 LLM 强化学习训练·信任域正则化 ★ 深度解读

Tencent Hunyuan · UIUC · NUS

提出DRPO，用连续二次正则化替代硬掩码，实现基于Binary-TV散度的平滑信任域，提升LLM RL训练的稳定性与效率

📌 工作参考价值（4 点）

信任域设计应从比例转向绝对概率偏移：在长尾词表的LLM策略优化中，重要性比率 (ratio) 不能准确反映分布变化。DRPO 通过 Binary-TV 散度（|π-μ|）定义信任域，对高频token更严格、对低频token更宽松，避免 PPO 对稀有token的过度惩罚，适合电商推荐中大量长尾item的生成式建模。
用平滑正则代替硬掩码，提供连续纠正信号：DPPO 的硬掩码在边界处梯度突变且无纠正。DRPO 的二次正则项产生有界、连续的梯度权重，边界内逐步衰减更新，边界外反向修正。这种设计可迁移到多智体训练、推荐模型RL微调等需要稳定策略更新的场景。
正则项必须与优势绝对值 (|A|) 挂钩：DRPO 通过 |A| 加权正则项，使信任域边界独立于奖励尺度，避免小优势token过纠、大优势token欠纠。在多轮对话Agent或推荐系统中，奖励信号常带噪声，该设计能增强训练鲁棒性。
低精度 (如FP8) 训练场景下更稳健：由于训练-推理数值不匹配加剧off-policy程度，DRPO 的 bounded gradient 在 FP8 E2E 设置下仍保持稳定，而 ratio-based 方法（GRPO/SPO）易崩溃。对于需要降低成本的大规模工业训练（如电商LLM部署）具备直接工程价值。

Training | 2026-06-07 | HF Daily | score 8/10